1
Il panorama dell'Intelligenza Generativa Avanzata
PolyU COMP5511Lesson 11
00:00

Il panorama dell' Intelligenza Generativa Avanzata si รจ evoluto da modelli isolati e monolitici verso un ecosistema a piรน livelli definito da Sistemi AI Composti. Questo cambiamento si sposta dalla semplice previsione probabilistica dei token verso sistemi che orchestrano modelli fondamentali (FMs), plugin modulari e sintesi cross-modale.

Infrastruttura Computazionale / CloudLLMsDiffusioneAudio / CodiceLivello di Orchestrazione e Agente

La tassonomia dello stack generativo

  • Livello dell'Infrastruttura: La struttura hardware (GPU/TPU) e i servizi cloud che forniscono il potere computazionale necessario per l'addestramento e l'inferenza ad alta velocitร .
  • Livello dei Modelli: I Modelli Fondamentali (FMs) come GPT-4, Llama 3 e Stable Diffusion che fungono da motori specializzati per diverse modalitร .
  • Livello di Orchestrazione: Framework che gestiscono la logica, il flusso dei dati e il recupero, trasformando i modelli da pesi "congelati" a sistemi con Consapevolezza contestuale in tempo reale.

Convergenza delle Modalitร 

La tendenza tecnica si concentra sull'unificazione delle architettureโ€”principalmente modelli Transformer e di diffusioneโ€”che permette uno spazio latente condiviso. Ciรฒ consente un'interfaccia unificata in cui testo, immagini e video vengono manipolati come un flusso continuo di informazioni, rappresentato matematicamente come una mappatura tra manifold latenti diversi $M_{text} \leftrightarrow M_{visual}$.

Evoluzione Strutturale
Stiamo passando da modelli "a libro chiuso" che si basano esclusivamente sui parametri dei dati di addestramento $\theta$, a sistemi "a libro aperto" che utilizzano lo stato dell'ambiente esterno $E$ per risolvere complesse attivitร  di ragionamento tramite $P(y|x, E)$.
Implementazione in Python